经典的机器学习范式需要在中心位置汇总用户数据,在该位置,机器学习实践者可以预处理数据,计算功能,调整模型并评估性能。这种方法的优点包括利用高性能硬件(例如GPU)以及机器学习实践者在深度数据分析中进行的能力以提高模型性能。但是,这些优势可能是为了支付数据隐私的费用。收集,汇总并存储在集中式服务器上以进行模型开发。数据集中构成风险,包括内部和外部安全事件的风险增加以及意外数据滥用。具有不同隐私的联合学习旨在通过将ML学习步骤带给用户的设备来避免服务器端集中化陷阱。学习是以联合方式完成的,每个移动设备都在模型的本地副本上运行一个训练循环。来自设备模型的更新通过加密通信和通过差异隐私发送到服务器,以改善全局模型。在此范式中,用户的个人数据仍在其设备上。令人惊讶的是,以这种方式培训模型培训的模型性能差异很小。但是,由于其分布式性质,异质计算环境和缺乏数据可见性,联邦学习带来了许多其他挑战。本文探讨了这些挑战,并概述了我们正在探索和测试的建筑设计解决方案,以在元评估中生产联合学习。
translated by 谷歌翻译
The circular coordinates algorithm of de Silva, Morozov, and Vejdemo-Johansson takes as input a dataset together with a cohomology class representing a $1$-dimensional hole in the data; the output is a map from the data into the circle that captures this hole, and that is of minimum energy in a suitable sense. However, when applied to several cohomology classes, the output circle-valued maps can be "geometrically correlated" even if the chosen cohomology classes are linearly independent. It is shown in the original work that less correlated maps can be obtained with suitable integer linear combinations of the cohomology classes, with the linear combinations being chosen by inspection. In this paper, we identify a formal notion of geometric correlation between circle-valued maps which, in the Riemannian manifold case, corresponds to the Dirichlet form, a bilinear form derived from the Dirichlet energy. We describe a systematic procedure for constructing low energy torus-valued maps on data, starting from a set of linearly independent cohomology classes. We showcase our procedure with computational examples. Our main algorithm is based on the Lenstra--Lenstra--Lov\'asz algorithm from computational number theory.
translated by 谷歌翻译
作为一种广泛使用的弱监督学习计划,现代多重实例学习(MIL)模型在袋子级别上实现了竞争性能。但是,实例级别的预测对于许多重要的应用至关重要,在很大程度上不令人满意。我们建议进行新颖的活跃的深层实例学习,以对注释的一小部分信息实例进行样本,以显着提高实例级别的预测。差异正规损耗函数旨在正确地平衡实例级预测的偏差和差异,旨在有效地适应MIL和其他基本挑战中高度不平衡的实例分布。我们不是直接最大程度地减少非凸的正规损失,而是优化了分布稳健的袋子水平的可能性作为其凸代替代物。强大的袋子的可能性可以很好地近似基于方差的MIL损失,并具有强大的理论保证。它还可以自动平衡偏见和差异,从而有效地确定支持主动采样的潜在积极实例。强大的袋子可能性可以自然地与深度建筑一起融合,以支持深层模型训练,使用小批量的正面袋对。最后,开发了一种新型的P-F采样函数,该功能结合了概率向量和预测实例分数,通过优化健壮的袋子可能性获得。通过利用关键的MIL假设,采样函数可以探索最具挑战性的袋子,并有效地检测其积极的注释实例,从而显着改善了实例级别的预测。通过多个现实世界数据集进行的实验清楚地证明了该模型实现的最新实例级别的预测。
translated by 谷歌翻译
终身学习代理能够不断从潜在的图案感官数据流中学习。以这种方式适应的建筑物的一个主要历史困难是,在新样本中学习时,神经系统难以保留先前获得的知识。这个问题被称为灾难性忘记(干扰),并且在机器域中仍然是当天的机器域中的未解决问题。在几十年中,忘记了前馈网络的背景下,在诸如尊重的自组织地图(SOM)的替代架构中,在替代架构(SOM)的背景下,这是一个常用于任务的无监督的神经模型作为聚类和维度减少。虽然其内部神经元之间的竞争可能具有提高内存保留的可能性,但我们观察到在任务增量数据上培训的固定尺寸SOM培训,即,它以某些时间增量接收与特定类相关的数据点,经历重大遗忘。在这项研究中,我们提出了连续的SOM(C-SOM),一种能够在处理信息时减少自己遗忘的模型。
translated by 谷歌翻译
基于细粒的草图的图像检索(FG-SBIR)旨在找到来自给定查询草图的大型画廊的特定图像。尽管FG-SBIR在许多关键域中进行了广泛适用性(例如,犯罪活动跟踪),但现有的方法仍然遭受低精度,同时对外部噪声敏感,例如草图中不必要的笔画。在更实际的在飞行环境下,检索性能将进一步恶化,其中仅具有少数(噪声)笔划的部分完整的草图可用于检索相应的图像。我们提出了一种新颖的框架,利用了一个独特设计的深度加强学习模型,该模型执行双层探索,以处理部分素描训练和注意区域选择。通过对模型的注意力对原始草图的重要地区实施,对不必要的行程噪声仍然坚固,并通过大边距提高检索准确性。为了充分探索部分草图并找到要参加的重要区域,该模型在调整控制本地探索的定位器网络的标准偏差项时,该模型对全局探索进行引导策略梯度。培训过程是由混合损失引导的,融合了强化损失和监督损失。开发了一种动态排名奖励,以使用部分草图来适应随机图像检索过程。在三个公共数据集上执行的广泛实验表明,我们的建议方法在部分草图基于图像检索上实现了最先进的性能。
translated by 谷歌翻译